Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications
万花筒：真实AI应用的情境化人本评估工作流
🧭 LLM-as-Judge · 人本对齐评估
GovTech, Singapore · National University of Singapore · University of British Columbia
集成角色测试、定制化评分与人类审核的可靠性门控自动评估方法
📌 工作参考价值（4 点）
- 定制化评分标准（Rubric）：将业务目标（如广告合规、搜索相关性、推荐多样性）转化为具体可评分维度，让评估与业务对齐。
- 角色驱动的测试生成：用Persona模拟多类用户行为或查询意图，生成高覆盖测试用例，提前发现策略漏洞。
- 可靠性门控自动化：设定LLM judge与人工标注的一致性阈值，只有达到门槛才切换为自动评分，在节省成本的同时防止偏差累积。
- 迭代评估闭环：结合可审查的人工标签与自动打分，持续校准评分标准，适合需要频繁调整策略的Agent或推荐系统上线前评估。